Sebelum tertubuhnya KMM, IBHY dan rakan-rakannya telah mewujudkan satu persatuan sulit yang “berhaluan sosialis” iaitu Ikatan Semenanjung Malaya/Borneo pada tahun 1929 yang memperjuangkan gagasan “Malaya Raya”. Gesaan IBHY terhadap masyarakat Melayu supaya menubuhkan Persatuan Kebangsaan Melayu bagi menyatukan orang-orang Melayu untuk menyelamatkan hak kebangsaaan telah memperlihatkan dirinya sebagai pengerak nasionalisme Melayu di Tanah Melayu. Beliau juga terlibat aktif dalam Kelab Melayu Bentung pada tahun 1931-1934, Persatuan Melayu Selangor pada tahun 1938, Persatuan Belia Melayu dan beberapa persatuan yang menjadi medan IBHY menperjuang dan memperkembangkan ideologinya.